Корпорация Intel в ходе конференции ISC 2023, как сообщает AnandTech, поделилась информацией о проекте Aurora по созданию суперкомпьютера с производительностью экзафлопсного уровня. Эта система создаётся для Аргоннской национальной лаборатории Министерства энергетики США.

Изначально анонс HPC-комплекса Aurora состоялся ещё в 2015 году с предполагаемым запуском в 2018-м: ожидалось, что машина обеспечит быстродействие на уровне 180 Пфлопс. Однако реализация проекта значительно затянулась, а технические параметры платформы неоднократно менялись. Пока что развёрнуты тестовый кластер Sunspot.

Как теперь сообщается, в конечной конфигурации Aurora объединит 10 624 узла, каждый из которых будет включать два процессора Xeon Max и шесть ускорителей Ponte Vecchio. Таким образом, общее количество CPU будет достигать 21 248, число GPU — 63 744. Быстродействие FP64, как и было заявлено ранее, превысит 2 Эфлопс.

Источник изображений: Intel (via AnandTech)

Каждый процессор оперирует 64 Гбайт памяти HBM, ускоритель — 128 Гбайт. В сумме это даёт соответственно 1,36 Пбайт и 8,16 Пбайт памяти HBM с пиковой пропускной способностью 30,5 Пбайт/с и 208,9 Пбайт/с. В дополнение система сможет использовать 10,9 Пбайт памяти DDR5 с пропускной способностью до 5,95 Пбайт/с. Вместимость подсистемы хранения данных составит 230 Пбайт со скоростью работы до 31 Тбайт/с.

На сегодняшний день Intel поставила более 10 тыс. «лезвий» для Aurora, а это означает, что практически все узлы готовы к окончательному монтажу. Ввод суперкомпьютера в эксплуатацию намечен на текущий год. Для НРС-платформы готовится специализированная научная модель генеративного ИИ — Generative AI for Science, насчитывающая около 1 трлн параметров. Применять Aurora планируется для решения наиболее ресурсоёмких задач в различных областях.

Компания Google Cloud представила на конференции для разработчиков Google I/O инстансы Google Compute Engine A3, специально созданные для обеспечения максимальной производительности рабочих нагрузок машинного обучения. Новинки используют современные CPU, быструю память, ускорители NVIDIA и IPU Intel.

Виртуальная машина A3 включает:

• 8 ускорителей NVIDIA H100 Hopper.
• Коммутаторы NVIDIA NVSwitch с NVLink 4.0, обеспечивающие пропускную способность 3,6 Тбайт/с между ускорителями.
• Процессоры Intel Xeon Sapphire Rapids.
• 2 Тбайт оперативной памяти DDR5-4800.
• 200-Гбит/с IPU, специализированный стек межсерверной связи GPU↔GPU и оптимизации NCCL.

Помимо того, что новые инстансы используют DPU/IPU Mount Evans, разработанные совместно с Intel, кластеры A3 также задействуют фирменные оптические коммутаторы Google Jupiter с возможность переконфигурации топологии по требованию, которые компания уже использует в кластерах с собственными ИИ-ускорителями. Всё это позволяет объединять до 26 тыс. ускорителей H100 в облачный ИИ-суперкомпьютер производительность до 26 Эфлопс (TF32).

Изображение: Google

Ключевое отличие от других облачных предложений именно в интерконнекте и масштабируемости. Например, ИИ-суперкомпьютеры в Microsoft Azure объединяют тысячи и даже десятки тысяч ускорителей с использованием InfiniBand и DPU NVIDIA. В Oracle Cloud Infrastructure (OCI), где ранее был поставлен рекорд по объединению 32 768 ускорителей, используется тот же подход. Наконец, в AWS можно объединить до 20 тыс. ускорителей благодаря EFA.

Google предложит клиентам несколько вариантов использования A3: клиенты смогут запускать ВМ самостоятельно или в качестве управляемого сервиса, где Google возьмёт на себя большую часть работы. Возможно использование A3 в Google Kubernetes Engine (GKE) или в Vertex AI. В настоящее время виртуальные машины A3 доступны только после регистрации в списке ожидания превью. Сейчас компания занята развёртыванием множественных кластеров A3 в наиболее крупных облачных регионах.

Компания Supermicro анонсировала серверы семейства Multi-Processor (MP), предназначенные для решения критически важных задач, для которых требуется большой объём памяти. Это могут быть модели генеративного ИИ, обширные базы данных, корпоративные приложения и пр. В основу представленных систем положены процессоры Intel Xeon Sapphire Rapids. Новинки сертифицированы для SAP HANA и решений Oracle.

В семейство Multi-Processor вошла модель MP SuperServer SYS-681E-TR. Эта стоечная система формата 6U допускает установку восьми чипов в исполнении LGA-4677 с показателем TDP до 350 Вт и воздушным охлаждением. Доступны 128 слотов для модулей оперативной памяти DDR5-4800. Присутствуют 12 разъёмов PCIe 5.0 x16 для полноразмерных ускорителей двойной ширины. Таким образом, система может предложить до 480 ядер, до 32 Тбайт RAM и до 12 ускорителей NVIDIA H100 в одном шасси.

Источник изображений: Supermicro

Во фронтальной части расположены 24 отсека для SFF-накопителей NVMe/SAS-3/SATA-3 с возможностью горячей замены. Кроме того, есть два коннектора для модулей M.2 NVMe. В оснащение входят сетевой адаптер 1GbE (RJ45) и выделенный сетевой порт управления, по два разъёма USB 3.0 и USB 1.1, интерфейсы DisplayPort и D-Sub. За охлаждение отвечают десять 80-мм вентиляторов. Диапазон рабочих температур — от +10 до +35 °C. Применены блоки питания мощностью 2600 Вт.

Кроме того, анонсированы четырёхпроцессорные модели MP SuperServer SYS-241H-TNRTTP и MP SuperServer SYS-241E-TNRTTP типоразмера 2U. Первая поддерживает работу с чипами с TDP до 350 Вт (до 240 ядер суммарно), вторая — до 270 Вт (до 96 ядер суммарно). В обоих случаях имеются 64 слота для модулей DDR5-4800 суммарным объёмом до 16 Тбайт. Есть сетевой порт управления, по два порта USB 2.0 и USB 3.0, интерфейсы DisplayPort и D-Sub, последовательный порт.

2U-платформы предлагают по два слота PCIe 5.0 x16 для FHHL-карт расширения, PCIe 5.0 x16 для FHFL-карт и PCIe 5.0 x8, а также по одному AIOM-слоту PCIe 5.0 x16 и PCIe 5.0 x8. Версия SYS-241H-TNRTTP оборудована 8 фронтальными отсеками для SFF-накопителей NVMe/SAS3/SATA3 и рассчитана на установку четырёх однослотовых ускорителей, а модель SYS-241E-TNRTTP — 24 SFF-накопителей и двух двухслотовых ускорителей. Кроме того, предусмотрены два коннектора M.2 NVMe. Мощность блоков питания — 2700 Вт и 1600 Вт соответственно. Реализована система воздушного охлаждения. Диапазон рабочих температур — от +10 до +35 °C.

Компания Supermicro анонсировала стоечные системы SYS-421GE-TNRT и SYS-821PV-TNR — первые в отрасли коммерческие серверы, оборудованные ускорителями Intel Max (Ponte Vecchio). Аппаратной основой представленных решений служат процессоры Intel Xeon Sapphire Rapids.

Обе новинки рассчитаны на установку двух чипов в исполнении Socket E (LGA-4677). Поддерживается до 8 Тбайт оперативной памяти DDR5-4800 в виде 32 модулей ёмкостью 256 Гбайт каждый. Есть 24 отсека во фронтальной части для SFF-накопителей U.2/SATA/SAS.

Модель SYS-421GE-TNRT допускает установку восьми ускорителей Data Center GPU Max 1100 с 48 Гбайт памяти HBM2 каждый. Кроме того, предусмотрены два коннектора для M.2 NVMe SSD. Система оборудована двумя сетевыми портами 10GbE (Intel X710-AT2), выделенным сетевым портом управления, разъёмом D-Sub и последовательным портом.

Источник изображений: Supermicro

Для CPU может применяться воздушное или жидкостное охлаждение. Сервер наделён восемью вентиляторами повышенной надёжности. Устройство выполнено в форм-факторе 4U. Питание обеспечивают четыре блока мощностью 2700 Вт стандарта 80 PLUS Titanium. Диапазон рабочих температур — от +10 до +35 °C.

Сервер SYS-821PV-TNR, в свою очередь, может нести на борту до восьми ускорителей Data Center GPU Max 1550 OAM со 128 Гбайт памяти HBM2 каждый. Для CPU и GPU может быть задействовано воздушное или жидкостное охлаждение. Заявленная производительность достигает 6,7 Пфлопс FP16/BF16. Другие характеристики будут раскрыты позднее.

Один из самых масштабных проектов в области высокопроизводительных вычислений (HPC), 2-Эфлопс суперкомпьютер Aurora, который планирует вскоре ввести в строй Аргоннская национальная лаборатория (ANL), получил ещё одну тестовую платформу. Новый мини-кластер Sunspot, включающий в себя две стойки будущей машины, является прекрасным полигоном для отладки ПО.

Aurora будет состоять из более чем 10 тыс. вычислительных узлов, а Sunspot включает в себя 128 узлов, каждый из которых, впрочем, имеет весьма серьёзную конфигурацию. На борту такой узел несёт пару процессоров Intel Xeon Max (Sapphire Rapids + 64 Гбайт HBM2e), а также шесть ускорителей Intel Max Series (Ponte Vecchio). Sunspot использует в качестве интерконнекта фирменную сеть HPE/Cray Slingshot последнего поколения.

Источник: Argonne Leadership Computing Facility

Как считает глава Argonne Leadership Computing Facility (ALCF), полная идентичность архитектур позволит разработчикам оптимизировать код для максимального использования всех возможностей Sapphire Rapids и Ponte Vecchio. Ранее тестовыми платформами служили кластеры Iris, Arcticus, Florentia самой Аргоннской лаборатории, а также Borealis, принадлежащий Intel. Система Sunspot была запущена ещё в декабре, с тех пор к ней получили доступ более 180 исследователей из 20 команд разработчиков в рамках программ Aurora Early Science Program (ESP) и Exascale Computing Project (ECP).

Процесс сборки Aurora идёт полным ходом

Отмечается, что достигнутые на «железе» Intel Max результаты внушают оптимизм. В ряде научно-технических задач прирост производительности от перехода на ускорители Intel составил от 20 до 70 %, а в разрабатываемом аргоннцами Hardware/Hybrid Accelerated Cosmology Code выигрыш достиг 2,6 раз. Ожидается, что дальнейшая более тонкая оптимизация позволит улучшить результаты. Интересно, что даже после запуска Aurora система Sunspot демонтирована не будет, а станет, как и все предыдущие тестовые платформы ALCF, общедоступным «полигоном для новичков».

В США, по сообщению ресурса HPC Wire, началось фактическое строительство нового НРС-комплекса — системы Kestrel, контракт на создание которой получила компания HPE. Суперкомпьютер расположится в Национальной лаборатории по изучению возобновляемой энергии (NREL), которая находится в Голдене (штат Колорадо). В окончательном виде НРС-платформа будет содержать 2436 узлов.

2304 модуля — это CPU-блоки, каждый из которых содержит два процессора Intel Xeon Sapphire Rapids и 256 Гбайт RAM. Именно эти узлы в настоящее время доставляются и устанавливаются на площадке NREL. Возможно, также прибудут десять узлов с такими же CPU, но большим объёмом памяти — 2 Тбайт. Одновременно идёт развёртывание интерконнекта HPE Slingshot 11, параллельной ФС ёмкостью 27 Пбайт и корневого хранилища вместимостью 1,2 Пбайт.

Источник изображения: NREL

Позднее в 2023 году в составе Kestrel появятся GPU-узлы: 132 модуля с двумя AMD Epyc Genoa, четырьмя ускорителями NVIDIA H100 и 384 Гбайт памяти, а также 10 блоков с двумя чипами Intel Xeon Sapphire Rapids и двумя ускорителями NVIDIA A40. Изначально монтаж оборудования по проекту Kestrel был запланирован на IV квартал 2022 года. Однако отгрузки задержались из-за сбоя в каналах поставок и сложившейся макроэкономической ситуации.

В целом, как ожидается, суперкомпьютер обеспечит пиковую производительность до 44 Пфлопс, что более чем в пять раз превышает мощность его предшественника — комплекса Eagle. Использовать Kestrel планируется при проведении различных исследований в области энергетики — от оптимизации инфраструктуры зарядных станций для электромобилей до создания передовых материалов для солнечных батарей.

В Центре вычислительных наук Университета Цукубы (University of Tsukuba; префектура Ибараки, Япония), по сообщению HPC Wire, началась эксплуатация HPC-комплекса Pegasus, спроектированного компанией NEC. Это, судя по всему, один из последних суперкомпьютеров, который получит большой объём памяти Optane Pmem, производство которой было остановлено Intel.

Система объединяет 120 узлов NEC LX 102Bk-6 на основе одного процессора Xeon Platinum 8468 поколения Sapphire Rapids (48 ядер; 96 потоков; 2,1–3,8 ГГц; 350 Вт), работающего в тандеме со 128 Гбайт оперативной памяти DDR5-4800, дополненных 2 Тбайт памяти Optane PMem 300 (Crow Pass). Любопытно, что по умолчанию часть Optane-памяти отведена под XFS-том (fsdax), но по желанию пользователи могут выбрать и другой режим работы. Кроме того, в состав каждого из узлов входят один PCIe-ускоритель NVIDIA H100.

Источник изображения: Университет Цукубы

Также каждый узел имеет по два накопителя NVMe SSD на 3,2 Тбайт (7 Гбайт/с), а объединены они 200G-интерконнектом Quantum-2 InfiniBand. Дополняет HPC-комплекс гибридное хранилище на базе DDN ES200NV/ES7990X/SS9012, объединяющее NL-SAS HDD вместимостью 18 Тбайт (7200 об/мин) и 1,92-Тбайт NVMe SSD. Суммарная доступная ёмкость составляет приблизительно 7,1 Пбайт, а скорость обмена данными — порядка 40 Гбайт/с.

Источник изображения: Университет Цукубы

Кроме того, применены три дополнительных узла NEC LX 124Rk-2 с двумя чипами Xeon Platinum 8468, 256 Гбайт памяти DDR5, накопителем NVMe SSD и InfiniBand-подключением. Быстродействие Pegasus теоретически достигает 6,5 Пфлопс для вычислений двойной точности. Использовать мощности нового суперкомпьютера планируется в таких областях, как астрофизика, климатология, биология, здравоохранение, Big Data и ИИ. В Университете Цукубы есть ещё один необычный суперкомпьютер Cygnus, объединяющий ускорители NVIDIA Tesla и Intel FPGA.

Корпорация Fujitsu, по сообщению ресурса HPC Wire, модернизировала суперкомпьютер Gadi, установленный в Национальном университете Австралии в Канберре (NCI). Комплекс получил узлы на новейших процессорах Intel Xeon Sapphire Rapids, что позволило существенно понять общую производительность.

В прежней конфигурации в HPC-системе Gadi уже широко применялись различные чипы Intel. В состав суперкомпьютера, в частности, входят 3074 узла, каждый из которых содержит два 24-ядерных процессора Intel Xeon Cascade Lake и 192 Гбайт памяти.

Также в состав комплекста входят 804 узла с парой 14-ядерных чипов Broadwell, 192 узла с двумя 16-ядерными процессорами Skylake и 160 узлов, каждый из которых наделён четырьмя ускорителями NVIDIA V100 и двумя 24-ядерными процессорами Intel Xeon Cascade Lake-SP. Наконец, есть 10 узлов с двумя 14-ядерными чипами Intel Broadwell и 512 Гбайт памяти и два узла NVIDIA DGX A100.

Изображения: NCI Australia

После модернизации, как сообщается, комплекс получил 720 узлов с парой 52-ядерных процессоров Intel Xeon Sapphire Rapids и 512 Гбайт RAM, объединённых 200G-интерконнектом InfiniBand HDR. О быстродействии обновлённого суперкомпьютера ничего не сообщается, но ранее Gadi обеспечивал пиковую производительность в 15,14 Пфлопс и занимал 62-ю строку в списке Top500.

Отмечается, что появление узлов на базе Sapphire Rapids — это лишь первый этап масштабной программы по расширению вычислительных ресурсов NCI. Планируется добавление новых GPU и улучшение подсистемы электропитания. Общие инвестиции в проект составят около $26 млн.

Компания Giga Computing, серверное подразделение Gigabyte, анонсировала материнские платы MW83-RP0 и MW53-HP0 — свои первые изделия для рабочих станций, поддерживающие оперативную память DDR5 и высокоскоростной интерфейс PCIe 5.0. Новинки рассчитаны на работу с процессорами Intel Xeon W Sapphire Rapids.

Модель MW83-RP0 выполнена в формате SSI-CEB с размерами 304,8 × 266,7 мм. Применён набор логики Intel W790; возможна установка чипа Xeon W-3400 с показателем TDP до 350 Вт. Реализована 8-канальная подсистема памяти с поддержкой восьми модулей DDR5-4800.

Плата располагает пятью слотами PCIe 5.0 x16 и двумя слотами PCIe 4.0 x16, двумя разъёмами M.2 (PCIe 4.0 x4) и двумя коннекторами SlimSAS (8 × SATA). Есть два сетевых порта 10GbE, выделенный сетевой порт управления (Realtek RTL8211FD), три порта USB 3.2 Gen2 Type-A и один порт USB 3.2 Gen2x2 Type-C, последовательный порт, интерфейс D-Sub. В оснащение входят BMC Aspeed AST2600 и звуковой кодек Realtek ALC897 HD.

Источник изображений: Gigabyte

Версия MW53-HP0 имеет форм-фактор ATX с габаритами 304,8 × 244 мм. Использован чипсет Intel W790; поддерживаются процессоры Xeon W-2400 со значением TDP до 225 Вт. Говорится о 4-канальной архитектуре ОЗУ: при этом допускается установка восьми модулей DDR5-4800.

Материнская плата наделена четырьмя слотами PCIe 5.0 x16 и одним слотом PCIe 3.0 x4, тремя разъёмами M.2 (PCIe 4.0 x4), восемью портами SATA-3, двумя сетевыми портами 2.5GbE и выделенным сетевым портом управления (Realtek RTL8211FD). Прочее оснащение включает контроллер Aspeed AST2600, звуковой кодек Realtek ALC897 HD, пять портов USB 3.2 Gen2 Type-A и один порт USB 3.2 Gen2x2 Type-C, последовательный порт и коннектор D-Sub.

На MWC 2023 компания Intel, как и обещала когда-то, представила специализированное решение для ускорения внедрения 5G и 4G, которое упрощает развёртывание виртуализированных сетей радиодоступа (vRAN) — процессоры Xeon Sapphire Rapids с интегрированным ускорителем vRAN Boost. Новинки, по словам компании, оптимизированы для сигнальной обработки и обработки пакетов, балансировки, ИИ и машинного обучения, а также динамического управления энергопотреблением.

Новинки позволят телеком-провайдерами консолидировать уже развёрнутые сети 4G/5G, удвоив ёмкость vRAN (по сравнению с Ice Lake-SP), а также вдвое улучшить энергоэффективность обработки L1-трафика в режиме реального времени благодаря расширенным возможностям сбора телеметрии и управления состоянием отдельных ядер (переход в сон и обратно) с низким уровнем задержки, а также гибкого перераспределения сетевых и иных нагрузок между ядрами.

Компания предложит заказчикам две серии Xeon EE (Enhanced Edge) с числом ядер до 20 или до 36 шт. и восемью каналами памяти, DDR5-4000 и DDR5-4400 соответственно. В обоих случаях речь об односокетных платформах. Некоторые модели также имеют поддержку AMX-инструкций и расширенный диапазон рабочих температур. Компанию новинкам составят FPGA Agilex 7, eASIC N5X и сетевые контроллеры E810 (Columbiaville).

Источник: Intel

Xeon EE используют расширения AVX (в частности, AVX512-FP16) для обработки сигналов и аппаратные блоки ускорения vRAN Boost для прямой коррекции ошибок (FEC, Forward Error Correction) и дискретного преобразования Фурье (DFT, Discrete Fourier Transformation), что позволяет снизить энергопотребление на величину до 20 % по сравнению с обычными Sapphire Rapids, поскольку для них и более ранних CPU требуются дискретные ускорители вроде ACC100. Для работы с новыми функциями предлагается DPDK и VPP, а драйверы совместимы с O-RAN ALLIANCE Accelerator Abstraction Layer (AAL) API. Также поддерживается и референсная платформа Intel FlexRAN.

В целом же, Intel продолжает продвигать идею замены специализированного 4G/5G-оборудования на как можно более стандартные серверы, что приводит к снижению совокупной стоимости владения (TCO) и повышает функциональность, гибкость и масштабируемость сетей нового поколения благодаря переходу к программно определяемым решениям. Среди ключевых партнёров компания называет Advantech, Capgemini, Canonical, Dell Technologies, Ericsson, HPE, Mavenir, Quanta Cloud Technology, Rakuten Mobile, Red Hat, SuperMicro, Telefonica, Verizon, VMware, Vodafone и Wind River.

На MWC 2023 также были показаны анонсированные на днях edge-серверы Dell на базе новых Xeon EE. Кроме того, Intel при сотрудничестве с SK Telecom разработала референсную программную платформу Intel Infrastructure Power Manager для ядра 5G-сети, которая позволяет ещё больше снизить (до -30 %) фактическое энергопотребление процессоров. Наконец, компания на пару с Samsung продемонстрировала работу 5G UPF (User Plane Function) на скорости 1 Тбит/с, для чего оказалось достаточно двухсокетного сервера с Sapphire Rapids, который, судя по всему, всё же был снабжён ускорителями.